再現性の危機：研究の信頼性を理解し、対処する

近年、科学コミュニティ内で「再現性の危機」と呼ばれる懸念が高まっています。この危機は、さまざまな分野の研究結果が、独立した研究者によって再現または再生産されないという驚くべき割合を浮き彫りにしています。これは、発表された研究の信頼性と妥当性について根本的な疑問を投げかけ、科学、政策、社会に広範囲に影響を及ぼします。

再現性の危機とは？

再現性の危機は、単に実験の失敗という孤立した事例だけではありません。これは、発表された研究結果の大部分が独立して検証できないという、システム的な問題を表しています。これは、いくつかの方法で現れる可能性があります：

• 再現の失敗：元の研究と同じ材料と方法を使用して研究を繰り返しても、同じ結果が得られないこと。
• 再現可能性の失敗：同じ分析方法を使用して元のデータを再分析しても、同じ結果が得られないこと。
• 一般化の問題：特定の研究からの発見が、異なる集団、文脈、または設定に適用できない場合。

再現と再現可能性を区別することが重要です。再現とは、元の仮説を検証するために完全に新しい研究を実施することであり、再現可能性とは、結果を検証するために元のデータを再分析することに焦点を当てています。どちらも、科学的発見のロバスト性を確立するために不可欠です。

問題の範囲：影響を受ける分野

再現性の危機は、単一の分野に限定されていません。それは、以下を含む幅広い分野に影響を与えます：

• 心理学：この分野は、古典的な心理学的実験の再現率が低いことを示す研究により、危機を認識する最前線に立っています。たとえば、「Open Science Collaboration」プロジェクトでは、主要な心理学雑誌に掲載された100件の研究を再現しようと試みましたが、元の研究と同じ方向に統計的に有意な結果を生み出した再現はわずか36％でした。
• 医学および生物医学研究：前臨床研究で発見を再現できないと、医薬品の開発と臨床試験に深刻な影響を与える可能性があります。癌研究のような分野における前臨床研究の発見の有意な割合が再現できないことが研究で示されており、資源の浪費と患者への潜在的な危害につながっています。Bayerによる2011年の研究では、彼らが調査した発表された前臨床研究の25％の結果しか再現できなかったと報告されています。Amgenも同様の課題に直面し、彼らがレビューした癌研究における「画期的な」研究のわずか11％しか再現できませんでした。
• 経済学：データ操作、選択的報告、および透明性の欠如に関する懸念も経済学で提起されています。研究者は、経済研究の信頼性を向上させるために、研究の事前登録とオープンデータ共有をますます提唱しています。
• 工学：議論されることは少ないですが、工学分野も影響を受けやすいです。シミュレーション結果と実験データが完全に文書化または利用可能にされない場合があり、設計の主張の独立した検証を妨げます。
• 社会科学：心理学と同様に、社会学や政治学などの他の社会科学も、複雑な社会現象と調査結果を再現する際に課題に直面しています。

再現性の危機の原因

再現性の危機は、いくつかの要因が寄与する多面的な問題です：

• 出版バイアス：ジャーナルは、肯定的な結果または統計的に有意な結果を公開することを好むことが多く、否定的な結果または結論の出ない結果に対するバイアスにつながります。この「ファイルドロワー問題」は、仮説を支持しない大量の研究が未発表のままであり、全体像を歪めていることを意味します。
• 統計的有意性とPハッキング：結果の有意性を判断するための唯一の基準としてp値に過度に依存すると、「pハッキング」につながる可能性があります。これは、研究者がデータを操作したり、分析方法を操作したりして、たとえそれが偽りであっても、統計的に有意な結果を得ることです。これには、データポイントの追加または削除、統計テストの変更、または複数の分析からの有意な結果のみを選択的に報告するなどの手法が含まれます。
• 透明性とデータ共有の欠如：多くの研究者は、データ、コード、または詳細な方法を共有しないため、他の人が彼らの発見を検証することができません。この透明性の欠如は、独立した再現と再現可能性の取り組みを妨げます。機密データやソフトウェア、および機密性の懸念も、これに寄与する可能性があります。
• 研究方法と統計における不十分なトレーニング：厳格な研究デザイン、統計分析、およびデータ管理における不十分なトレーニングは、研究におけるエラーとバイアスにつながる可能性があります。研究者は、再現可能性を確保するための最良の方法を認識していない可能性があり、意図せずに彼らの発見の信頼性を損なう可能性のある慣行に従事する可能性があります。
• 新規性とインパクトへのインセンティブ：学術的な報酬システムは、厳格で再現可能な研究よりも、斬新でインパクトのある発見を優先することがよくあります。これにより、研究者は近道をする、疑わしい研究慣行に従事する、またはインパクトの高いジャーナルに掲載するために、彼らの結果の重要性を誇張するように動機付ける可能性があります。
• 研究の複雑さ：一部の研究分野、特に複雑なシステムまたは大規模なデータセットを含む分野は、本質的に再現が困難です。実験条件の変動、データ処理の微妙な違い、および複雑なシステムの固有の確率性などの要因により、異なる研究間で一貫した結果を得ることが困難になる可能性があります。
• 詐欺と不正行為：一般的ではありませんが、明らかな詐欺またはデータの捏造の事例も再現性の危機に寄与しています。比較的まれですが、これらの事例は科学に対する国民の信頼を損ない、堅牢な研究倫理と監督の重要性を強調しています。

再現性の危機の結果

再現性の危機の結果は広範囲に及び、科学と社会のさまざまな側面に影響を与えます：

• 科学に対する国民の信頼の低下：研究結果が信頼できないことが判明した場合、科学と科学者に対する国民の信頼が低下する可能性があります。これは、研究資金への国民の支持、科学的証拠の受け入れ、および科学に基づく政策を採用する意欲に悪影響を与える可能性があります。
• 資源の浪費：再現不可能な研究は、時間、お金、労力を含む資源の著しい浪費を表しています。研究を再現できない場合、研究への元の投資は本質的に無駄になり、それらの信頼できない発見に基づくさらなる研究も誤った方向に進む可能性があることを意味します。
• 科学の進歩の遅延：再現性の危機は、信頼できる研究から資源と注意をそらすことにより、科学の進歩のペースを遅らせる可能性があります。研究者が信頼できない発見を再現しようと時間と労力を費やすと、新しい研究を実施し、彼らの分野で真の進歩を遂げる能力が奪われます。
• 患者と社会への危害：医学や公衆衛生のような分野では、再現不可能な研究は患者と社会に直接的な影響を与える可能性があります。たとえば、薬や治療法が信頼できない研究に基づいている場合、効果がないか、有害でさえある可能性があります。同様に、公衆衛生政策が欠陥のあるデータに基づいている場合、意図しない結果につながる可能性があります。
• 科学的なキャリアへの損害：再現不可能な研究に関与している研究者は、彼らのキャリアに損害を受ける可能性があります。これには、資金の獲得、インパクトの高いジャーナルへの掲載、および学術的な地位の確保の難しさが含まれる可能性があります。出版のプレッシャーと学術研究の競争的な性質は、研究者が近道をし、疑わしい研究慣行に従事するように動機付ける可能性があり、最終的には彼らのキャリアを損なう可能性があります。

再現性の危機への対処：解決策と戦略

再現性の危機に対処するには、研究慣行、インセンティブ、および制度的政策の変更を含む、多面的なアプローチが必要です：

• オープンサイエンス慣行の推進：データ共有、コード共有、および研究の事前登録などのオープンサイエンス慣行は、再現可能性を向上させるために不可欠です。オープンデータにより、他の研究者は元の発見を検証し、さらなる分析を実施することができます。事前登録は、研究者が事前に仮説、方法、および分析計画を特定することにより、pハッキングと選択的報告を防ぐのに役立ちます。Open Science Framework（OSF）のようなプラットフォームは、オープンサイエンス慣行を実装するためのリソースとツールを提供します。
• 統計トレーニングと方法の改善：研究者に統計的方法と研究デザインに関するより良いトレーニングを提供することは、エラーとバイアスを防ぐために不可欠です。これには、p値の制限、効果量の重要性、およびpハッキングの可能性について研究者に教えることが含まれます。また、ベイズ統計やメタ分析など、より堅牢な統計的方法の使用を促進することも含まれます。
• インセンティブ構造の変更：学術的な報酬システムは、新規性とインパクトよりも、厳格で再現可能な研究を優先するように改革する必要があります。これには、データ共有、再現研究、およびオープンサイエンスへの貢献に対して研究者を認識し、報酬を与えることが含まれます。ジャーナルと資金提供機関は、研究提案と出版物の方法論的な厳密さをより重視することも検討する必要があります。
• ピアレビューの強化：ピアレビューは、研究の質と信頼性を確保する上で重要な役割を果たします。ただし、ピアレビュープロセスはしばしば欠陥があり、バイアスの影響を受けやすい可能性があります。ピアレビューを改善するために、ジャーナルは、査読者にデータ、コード、および方法の質を評価するように要求するなど、より透明で厳格なレビュープロセスを実装することを検討する必要があります。また、査読者が発見の新規性だけでなく、研究の方法論的な厳密さに焦点を当てるように促す必要があります。
• 再現研究の促進：再現研究は、研究結果の信頼性を検証するために不可欠です。ただし、再現研究はしばしば過小評価され、資金不足に陥っています。これに対処するために、資金提供機関は再現研究にもっと多くの資源を割り当てる必要があり、ジャーナルはそれらを公開することにもっと意欲的になる必要があります。研究者はまた、再現研究を実施し、彼らの発見を公的に利用可能にすることを奨励されるべきです。
• 研究倫理と誠実さの強化：研究倫理と誠実さを強化することは、詐欺と不正行為を防ぐために不可欠です。これには、研究者に倫理的行動に関するトレーニングを提供し、透明性と説明責任の文化を促進し、不正行為の申し立てを調査するための明確な手順を確立することが含まれます。機関はまた、内部告発者を保護し、研究者が不正行為の報告で処罰されないようにするための政策を実施する必要があります。
• 報告ガイドラインの開発と採用：臨床試験のCONSORTガイドラインやシステマティックレビューのPRISMAガイドラインなどの標準化された報告ガイドラインは、研究報告の透明性と完全性を向上させるのに役立ちます。これらのガイドラインは、研究報告に含める必要のある情報のチェックリストを提供し、読者が研究の質と信頼性を評価するのを容易にします。ジャーナルは、著者にこれらのガイドラインに従うように促し、そうするのを支援するためのトレーニングとリソースを提供する必要があります。

危機に対処するためのイニシアチブと組織の例

再現性の危機に対処するために積極的に取り組んでいるイニシアチブと組織がいくつかあります：

• The Open Science Framework（OSF）：データ共有、コード共有、事前登録、およびコラボレーションのためのツールを提供することにより、オープンサイエンス慣行をサポートする無料のオープンソースプラットフォーム。
• The Center for Open Science（COS）：オープンサイエンス慣行を促進し、研究の再現可能性を向上させることに専念する組織。COSは、研究を実施し、ツールを開発し、研究者がオープンサイエンス慣行を採用するのを支援するためのトレーニングを提供します。
• Registered Reports：データ収集前に研究がピアレビューされる出版形式。研究の合意は、結果ではなく、研究デザインと理論的根拠に基づいています。これは、出版バイアスとpハッキングを減らすのに役立ちます。
• Many Labs Projects：複数のラボで研究を再現し、発見の一般化可能性を評価する大規模な共同プロジェクト。
• The Reproducibility Project: Cancer Biology：癌研究の再現可能性を評価するために、影響力の大きい癌生物学論文を選択して再現するイニシアチブ。
• AllTrials：すべての臨床試験を登録し、その結果を報告することを求めるキャンペーン。

再現性に関するグローバルな視点

再現性の危機はグローバルな問題ですが、課題と解決策は国や地域によって異なる場合があります。研究資金、学術文化、および規制の枠組みなどの要因は、研究の再現可能性に影響を与える可能性があります。例えば：

• ヨーロッパ：欧州委員会は、オープンサイエンスを推進し、欧州連合全体で研究の誠実さを向上させるためのイニシアチブを開始しました。これらのイニシアチブには、オープンアクセス出版、データ共有、および研究倫理におけるトレーニングのための資金が含まれます。
• 北米：米国の国立衛生研究所（NIH）は、生物医学研究における厳密さと再現可能性を促進するための政策を実施しました。これらの政策には、データ共有、臨床試験の事前登録、および統計的方法におけるトレーニングの要件が含まれます。
• アジア：中国やインドのような国は、研究開発に多額の投資をしていますが、研究の質と信頼性を確保する上でも課題に直面しています。アジアでは再現性の危機に対する認識が高まっており、オープンサイエンスを推進し、研究倫理を向上させるための取り組みが進められています。
• アフリカ：アフリカの国々は、限られた資源とインフラストラクチャのために、研究の実施と再現において独自の課題に直面しています。しかし、アフリカにおけるオープンサイエンスとデータ共有の重要性の認識が高まっており、これらの慣行を促進するためのイニシアチブが進められています。

研究の信頼性の未来

再現性の危機に対処することは、研究者、機関、資金提供機関、およびジャーナルからの持続的な努力と協力が必要な継続的なプロセスです。オープンサイエンス慣行を促進し、統計トレーニングを改善し、インセンティブ構造を変更し、ピアレビューを強化し、研究倫理を強化することにより、研究の信頼性と妥当性を向上させ、より信頼できるインパクトのある科学的企業を構築することができます。

研究の未来は、再現性の危機に対処し、科学的発見が堅牢で、信頼性が高く、一般化可能であることを保証する私たちの能力にかかっています。これには、研究を実施し評価する方法における文化的な変化が必要になりますが、そのような変化の利点は非常に大きく、科学の進歩の加速、患者と社会のためのより良い結果、そして科学的企業に対する国民の信頼の向上につながります。

研究者のための実行可能なインサイト

研究者が彼らの研究の再現可能性を向上させるために取ることができる実行可能なステップを以下に示します：

• 研究を事前登録する：OSFのようなプラットフォームを使用して、データを収集する前に、仮説、方法、および分析計画を事前登録します。
• データとコードを共有する：可能な限り、データ、コード、および資料を公開します。
• 厳格な統計的方法を使用する：統計家と相談し、適切な統計的方法を使用してデータを分析します。
• すべての結果を報告する：選択的な報告を避け、否定的な結果または結論の出ない結果を含むすべての発見を報告します。
• 再現研究を実施する：自分の発見を再現しようとし、他の人がそうすることを奨励します。
• 報告ガイドラインに従う：透明性と完全性を確保するために、CONSORTやPRISMAなどの報告ガイドラインを遵守します。
• ワークショップとトレーニングセッションに参加する：研究方法と統計における知識とスキルを継続的に向上させます。
• オープンサイエンスを提唱する：あなたの機関とコミュニティ内でオープンサイエンス慣行を推進します。

これらのステップを実行することにより、研究者はより信頼できる信頼できる科学的企業に貢献し、再現性の危機に対処するのに役立ちます。